一种信息处理设备,用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配,所述信息处理设备包括:获取单元,用于获取所述测量对象的拍摄图像;计算单元,用于基于所述拍摄图像,计算表示所述测量对象的表面形状的信息;以及限定单元,用于基于表示所述表面形状的信息,限定所述模型的位置和/或姿势。
1.一种信息处理设备,用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配,所述信息处理设备包括:获取单元,用于获取所述测量对象的拍摄图像;计算单元,用于基于所述拍摄图像,计算表示所述测量对象的位置和/或姿势的信息;以及限定单元,用于基于所计算出的表示所述测量对象的位置和/或姿势的信息,限定所述模型的位置和/或姿势的范围以与所述测量对象的位置和/或姿势相匹配。
2.根据权利要求1所述的信息处理设备,其特征在于,还包括光投射控制单元,所述光投射控制单元用于使光投射单元将图案光投射至所述测量对象上,其中,所述计算单元从所述拍摄图像中提取所述图案光的区域,并且基于所提取出的图案光的区域和所述光投射单元的投射方向,计算表示所述测量对象的位置和/或姿势的信息。
3.根据权利要求2所述的信息处理设备,其特征在于,所述光投射控制单元使所述光投射单元从第一方向投射第一图案光,并且从不同于所述第一方向的第二方向投射第二图案光,所述获取单元获取利用所述第一图案光所拍摄的第一拍摄图像和利用所述第二图案光所拍摄的第二拍摄图像,所述计算单元从所述第一拍摄图像中提取所述第一图案光的区域,基于所提取出的第一图案光的区域和所述第一方向来计算表示所述测量对象的第一位置和/或姿势的信息,从所述第二拍摄图像中提取所述第二图案光的区域,并且基于所提取出的第二图案光的区域和所述第二方向来计算表示所述测量对象的第二位置和/或姿势的信息,以及所述限定单元基于表示所述第一位置和/或姿势的信息和表示所述第二位置和/或姿势的信息,限定对所述模型的位置和/或姿势的设置。
4.根据权利要求2所述的信息处理设备,其特征在于,由所述光投射单元所投射的图案光是多狭缝照明光。
5.根据权利要求1所述的信息处理设备,其特征在于,还包括位置/姿势计算单元,所述位置/姿势计算单元用于通过使所述测量对象的位置和/或姿势与所述模型的位置和/或姿势相匹配来计算所述测量对象的位置和/或姿势。
6.根据权利要求1所述的信息处理设备,其特征在于,表示所述测量对象的位置和/或姿势的信息是表示所述测量对象的表面的平面方程,以及所述限定单元将所述模型的位置和/或姿势限定至使所述模型在由所述平面方程所表示的平面上转动和/或平行移动时的可移动范围。
7.根据权利要求1所述的信息处理设备,其特征在于,表示所述测量对象的位置和/或姿势的信息是表示所述测量对象的表面的曲面方程。
8.根据权利要求1所述的信息处理设备,其特征在于,所述拍摄图像是由立体照相机所拍摄的立体拍摄图像,以及所述计算单元基于所述立体拍摄图像和所述立体照相机的视差,计算表示所述测量对象的位置和/或姿势的信息。
9.一种信息处理方法,用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配,所述信息处理方法包括以下步骤:获取所述测量对象的拍摄图像;基于所述拍摄图像,计算表示所述测量对象的位置和/或姿势的信息;以及基于所计算出的表示所述测量对象的位置和/或姿势的信息,限定所述模型的位置和/或姿势的范围以与所述测量对象的位置和/或姿势相匹配。
10.一种信息处理设备,用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配,所述信息处理设备包括:获取单元,用于获取测量对象的拍摄图像;分辨率降低单元,用于降低所述拍摄图像的分辨率;计算单元,用于基于分辨率降低的拍摄图像,计算所述测量对象的位置和/或姿势;以及光投射控制单元,用于基于计算出的所述测量对象的位置和/或姿势,使光投射单元将图案光投射至所述测量对象上。技术领域
本发明涉及一种将测量对象与测量对象的模型进行比较的信息处理设备。xa0背景技术近年来,用于使机器人进行诸如工厂等中所进行的组装等的任务的需求正日益增大。在这些需求中,在机器人应对位置和姿势总不恒定的作业对象(工件)的情况下,需要用于测量作业对象的位置和姿势的单元,并且通常使用视觉传感器作为该单元。xa0然而,在作业对象的位置/姿势处于三维不确定的情况下,普通照相机在信息方面不足,因此进行在该设备中添加用于获取三维信息的传感器的尝试。另外,在工厂自动化(FA)领域,存在以更高精度和更快速度测量作业对象的位置/姿势的要求,因此三维精确测量技术变得重要。三维测量技术包括光切方法、立体方法和飞行时间(TOF)方法等。xa0光切方法是用于通过利用照相机和狭缝光(slitxa0light)投射器的组合进行三角测量来获得物体的三维信息的技术。该技术使得用户能够容易地获得与无定形物体有关的三维信息,并且也开始应用于工业机器人。立体方法是用于通过准备两组以上的照相机并使用根据图像之间的视差的三角测量的原理来获得三维信息的技术。TOF方法是飞行时间的缩写,并且是如下的技术:利用来自发光二极管(LED)光源的光照射目标物体,并且利用传感器(光接收单元)接收其反射光并测量时间,从而测量距离。xa0此外,当利用机器人应对作业对象时,由于通常已知作业对象的数据(维数和计算机辅助设计(CAD)数据),因而存在用于通过在利用视觉传感器所获得的信息和数据之间进行比较和匹配来进行位置测量的方法。为了进行更高精度的位置/姿势测量,还利用了用于组合使用以下两种技术的技术:上述三维测量技术;以及使用CAD数据等的三维模型拟合。xa0日本特开平09-212643号公报讨论了一种使用从测量对象的拍摄图像所提取的特征部分在测量对象和测量对象的模型之间进行的三维模型拟合。该三维模型拟合是用于通过将从拍摄图像所获取的测量对象的特征部分与模拟测量对象的三维模型的特征部分进行匹配来获取测量对象的位置和/或姿势的技术。该三维模型拟合广泛用作用于从拍摄图像获得测量对象的位置和/或姿势的技术。然而,特征部分之间进行匹配时的三维模型的位置和/或姿势的可设置范围宽,因此计算机进行该三维模型拟合通常需要大量计算时间。xa0
发明内容
本发明涉及一种信息处理设备,该信息处理设备可以缩短计算机在将测量对象的位置和/或姿势与测量对象的模型的位置和/或姿势进行比较时所使用的计算时间。xa0根据本发明的一个方面,一种信息处理设备,用于使测量对象的位置和/或姿势与所述测量对象的模型的位置和/或姿势相匹配,所述信息处理设备包括:获取单元,用于获取所述测量对象的拍摄图像;计算单元,用于基于所述拍摄图像,计算表示所述测量对象的表面形状的信息;以及限定单元,用于基于表示所述表面形状的信息,限定所述模型的位置和/或姿势。xa0通过以下参考附图对典型实施例的详细说明,本发明的其xa0它特征和方面将变得明显。xa0
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面,并与说明书一起用来解释本发明的原理。xa0图1示出根据本发明第一典型实施例的信息处理设备的结构。xa0图2示出与图1所示的设备的各个组件相对应的第一典型实施例中的功能结构图。xa0图3示出第一典型实施例中的处理流程。xa0图4示出在正进行测量对象的三维测量时的场景。xa0图5示出参数空间限定的场景。xa0图6示出第一典型实施例中要定义的坐标系。xa0图7示出基于边缘的三维模型拟合的场景。xa0图8示出用于利用线段的信息来计算三维模型的位置/姿势参数的方法。xa0图9示出根据本发明第二典型实施例的信息处理设备的结构。xa0图10示出本发明第三典型实施例中的处理流程。xa0图11示出在第三典型实施例中无法进行充分参数约束的情况。xa0图12示出根据本发明第四典型实施例的信息处理设备的结构。xa0图13示出第四典型实施例中的处理流程。xa0图14示出根据第四典型实施例的信息处理设备的结构。xa0图15示出第四典型实施例中的照射位置/姿势设置步骤的xa0处理流程。xa0图16示出根据本发明第五典型实施例的信息处理设备的结构。xa0图17示出第五典型实施例中的处理流程。xa0图18示出本发明第六典型实施例中的三维模型和照射曲面。xa0图19示出根据本发明第七典型实施例的信息处理设备的功能结构。xa0图20示出根据本发明第七典型实施例的信息处理设备的结构。xa0图21示出第七典型实施例中的用于计算测量对象面的方法。xa0
具体实施方式
下面将参考附图详细说明本发明的各种典型实施例、特征和方面。xa0图1示出根据本发明第一典型实施例的信息处理设备的结构。xa0狭缝激光投射器10利用作为图案光(patternxa0light)的激光投射狭缝光束。将光扫描部11配置在狭缝激光投射器10的前面。光扫描部11包括可移动式检电镜或多棱镜,并且设计成根据来自外部的控制命令改变激光狭缝光的光投射角度。照相机20能够拍摄预定作业区域的图像。获得利用照相机20所获得的拍摄图像作为利用众所周知的校准技术消除了镜头像差的图像。测量对象30被配置在预定作业区域中,并且成为照相机20的摄像对象。测量对象30例如是工厂内的机器人的作业对象,并且为了利用机器人进行作业,需要计算测量对象30的位置/姿势。xa0计算机40与光扫描部11和照相机20连接,并且进行各种控制操作和图像处理。计算机40具有与通用计算机相同的结构,包括中央处理单元(CPU)、诸如随机存取存储器(RAM)等的临时存储单元和诸如ROM(只读存储器)等的存储单元。在存储单元中,存储有包括用于控制光扫描部11的扫描控制程序、用于控制照相机20的摄像的摄像控制程序以及用于对照相机20所获取的拍摄图像进行图像处理的图像处理程序的计算机程序。图像处理程序包括用于从拍摄图像检测图案光的校准程序、用于计算测量对象30的位置和/或姿势的三维模型、以及用于限定三维模型的可移动范围的限定程序。此外,将照相机20所获取的拍摄图像等存储在临时存储单元中。xa0当操作该信息处理设备时,狭缝激光投射器10将狭缝光100投射至测量对象30上,并且如果测量对象30位于狭缝光100的光投射方向上,则在测量对象30的表面上生成光切线101。照相机20在计算机40的控制下拍摄测量对象30的图像,并且计算机40使用拍摄图像中的光切线101来计算测量对象30的位置和/或姿势。xa0图2是与图1所示的设备的各个组件相对应的本典型实施例中的功能结构图。下面将参考图2说明本典型实施例中的功能结构。xa0光投射单元A100将图案光投射至测量对象30上。光投射单元A100对应于狭缝光投射器10。摄像单元A200获取测量对象30的图像数据,并且与光投射单元A100相互独立或相结合地进行安装。摄像单元A200对应于照相机20。xa0计算单元A300进行各种计算,并且控制光投射单元A100和摄像单元A200。计算单元A300对应于计算机40。计算单元A300包括如下多个单元。xa0作为计算单元A300的结构的一部分的测量控制单元A350用作用于控制光投射单元A100的光投射方向和光投射强度等的光投射控制单元,并且用作用于控制摄像单元A200的摄像操作的摄像控制单元。xa0作为计算单元A300的结构的一部分的图像数据存储单元A301用作用于从摄像单元A200获取拍摄图像的获取单元,并且用作用于将拍摄图像作为数据进行存储的存储单元。xa0作为计算单元A300的结构的一部分的校准值计算单元A310从存储在图像数据存储单元A301中的拍摄图像提取图案光的区域(光切线101)。xa0作为计算单元A300的结构的一部分的校准值存储单元A302用作用于存储与通过校准值计算单元A310所计算出的图案光的区域有关的信息的存储单元。xa0作为计算单元A300的结构的一部分的三维测量值计算单元A320使用存储在校准值存储单元A302中的图案光的区域,计算图案光的坐标(光切线上的各个亮点位置的坐标值)。此外,三维测量值计算单元A320用作用于使用三维测量值来计算表示测量对象30的表面形状的信息(例如,平面方程)的计算单元。xa0作为计算单元A300的结构的一部分的三维模型数据存储单元A303用作用于存储计算测量对象30的位置和/或姿势所要使用的测量对象30的三维模型数据的存储单元。三维模型数据包括诸如计算机图形等的数据,并且可以通过进行与测量对象30的三维模型拟合,来判断测量对象30的位置和/或姿势。xa0作为计算单元A300的结构的一部分的对象位置/姿势计算单元A340用作用于通过使用三维模型数据进行三维模型拟合来计算测量对象30的位置和/或姿势的位置/姿势计算单元。xa0作为计算单元A300的结构的一部分的参数空间限定单元xa0A330用作用于使用表示测量对象30的表面形状的信息来限定进行三维模型拟合时的三维模型的可移动范围的限定单元。xa0接着将参考图3中的处理流程来说明本典型实施例中的信息处理设备的处理流程。xa0步骤S100是信息处理设备的处理的开始步骤。步骤S110是图像数据获取步骤,在该步骤中,光投射单元A100将图案光投射至测量对象30上,并且摄像单元A200获取测量对象30的拍摄图像。测量控制单元A350通过向光投射单元A100和摄像单元A200发送控制信号来进行如上所述的本步骤的处理。将摄像单元A200所获取的拍摄图像的数据发送并存储至图像数据存储单元A301。xa0步骤S120是三维测量步骤,用于从存储在图像数据存储单元A301中的拍摄图像提取图案光的区域,并且根据所提取的图案光的区域来计算光切线上的各个亮点的坐标值。通过校准值计算单元A310和三维测量值计算单元A320进行如上所述的本步骤的处理。xa0步骤S130是测量对象面估计步骤,用于使用步骤S120所计算出的坐标值来确定表示被图案光照射的测量对象的表面形状的信息(平面方程或者曲面方程)。更具体地,测量对象面估计步骤用于对三维测量步骤S120所获得的三维信息进行聚类或分割,并且估计被照射的测量对象30的表面部分的平面方程(法线矢量和照射平面)。通过使用三维测量步骤S120所获得的三维信息相互比较相邻信息并进行扩展处理,可以实现聚类和分割用的方法,或者通过对图像数据获取步骤S110所获得的图像预先进行聚类,也可以实现聚类和分割用的方法。具体地,通过哈弗(Hough)变换等进行直线检测,并且预先检测具有相同斜率或亮度梯度的光切线或者光切线上的亮点位置。然后,通过仅xa0使用属于相同类的光切线上的亮点位置,使用最小二乘法等来估计平面方程。在图5的情况下,测量对象面102变成光切线101以及测量对象的边缘从已获得的估计平面所切割出的范围。通过三维测量值计算单元A320进行如上所述的本步骤的处理。xa0步骤S140是参数空间限定步骤,用于使用步骤S130所计算出的表示表面形状的信息,来限定对象位置/姿势计算单元A340进行三维模型拟合时的三维模型的可移动范围。更具体地,在世界坐标上形成测量对象面估计步骤S130所获得的平面,并且改变存储在三维模型数据存储单元A303中的三维模型的位置/姿势。xa0然后,绘制使得该平面和三维模型的平面相互匹配的三维模型的位置/姿势,作为参数空间内的参数搜索范围(约束条件)(参考图5)。通过使与三维模型上的照射部分相对应的表面匹配于照射表面,并且利用平面约束改变三维模型的位置,来计算照射平面的轮廓线(光切线)上的点存在于与三维模型相匹配的表面内的范围。xa0通常,基于六个自由度来确定三维模型的位置/姿势。然而,在根据本步骤将三维模型的移动范围限定在平面上的情况下,变成可以基于三个自由度来确定该移动范围,这三个自由度包括平面上的两个方向的平行移动以及转动。也就是说,根据本步骤,通过限定三维模型的可移动范围,可以明显缩短计算机在进行三维模型拟合时所使用的计算时间。通过参数空间限定单元A330进行如上所述的本步骤的处理。xa0步骤S150是对象位置/姿势计算步骤,用于基于存储在三维模型数据存储单元A303中的三维模型数据来进行三维模型拟合。更具体地,对象位置/姿势计算步骤用于在参数空间限定步骤S140所获得的参数空间中进行最优化计算(为使得位置/姿势xa0参数的均方误差变成最小所进行的参数提取),并且计算最终的三维模型的位置/姿势参数。在参数空间限定步骤S140所获得的参数空间内存在多个搜索范围的情况下,在所有部分空间中都进行最优化计算。然后,最终将图像坐标上的三维模型和被投射至图像的测量对象的位置/姿势参数之间的误差中最小的误差假定为正解值。在图5的情况下,由于三维模型受到通过测量对象面估计步骤S130所获得的平面的平面约束,因而按照如下求出平面约束下的图像雅克比矩阵(Jacobian)。在限定的参数空间内选择三维模型的位置/姿势参数各自的初始值。通过对象位置/姿势计算单元A340进行如上所述的本步骤的处理。xa0步骤S160是信息处理设备的处理的终止步骤。xa0接着说明本典型实施例中的校准方法。xa0假定通过经由投影矩阵α的坐标变换将世界坐标系中的任意点X=[X,Y,Z]^T变换成标准化图像坐标系上的点x=[X,Y,Z]^T。此时,按照如下表示图像坐标系中的X的相应点u=[u,v]^T。xa0[数学式1]xa0 u ′ = 1 z x = 1 z α X ′ - - - ( 1 ) ]]>其中,u′和X′是假定u和X的比例因子为1的齐次坐标,并且各自表示为u′=[u,v,1]^T、X′=[X,Y,Z,1]^T。投影矩阵α是3×4矩阵,并且可以通过拍摄世界坐标已知的六个以上点并测量这些点的投影位置,根据作为线性方程的方程(1)来确定投影矩阵α。xa0此外,可以通过将狭缝光照射至预先已知世界坐标系中的坐标值的夹具上、在图像上测量其照射位置、并且使用投影矩阵α计算三维位置,来确定狭缝光平面的方程。在本典型实施例中,由于设计成通过光扫描部11改变狭缝光的照射角度,因xa0而需要在各照射角度确定狭缝光平面的方程。利用K个光切线实现一次扫描,并且假定用于获得第k个光切线的从光扫描部11的原点位置开始的狭缝光照射角度为Φk。K和Φ1~ΦK是预先定义的固定值,并且假定在校准时和在实际作业时使用相同的值。按照如下表示狭缝光平面的方程。xa0[数学式2]xa0A_kX+B_kY+C_kZ+D_k=0xa0xa0xa0xa0(k=1,2,...,K)xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(2)xa0在实际三维测量中,通过利用狭缝光束照射测量对象,在图像坐标上获得第k个光切线。根据光切线上的亮点位置u′′=[u′′,v′′,1]^T,按照如下表示世界坐标系中的光切线上的亮点位置X′_i=[X′_i,Y′_i,Z′_i,1]^T。xa0[数学式3]xa0X′_i=z(α^Tα)^-1α^Tu′′xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(3)xa0通过将方程(2)代入相应方程(3)的狭缝光平面方程中,可以确定出世界坐标系中的照射位置X′_i。xa0接着,以下将说明本典型实施例中的三维模型拟合的具体处理。首先,如图6所示定义坐标系。坐标系包括三维模型坐标系70、假定约束平面为XY平面并且平面的法线矢量为Z轴的平面坐标系71、世界坐标系72、以及照相机坐标系73。尽管图6没有示出,但是还存在图像坐标系。xa0三维空间中的任意平面可以通过与该平面垂直的矢量(法线矢量)和从世界坐标系的原点到该平面的带符号的距离进行定义。根据长度1标准化的法线矢量的自由度为2,并且带符号的距离的自由度为1,基于三个自由度来表示该平面。xa0在该处理中,相对于世界坐标轴来定义平面的法线矢量。世界坐标系是围绕世界坐标系的y轴而转动的θ,并且是围绕转xa0动之后的世界坐标轴的x轴而转动的xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="58"/>假定平面的法线矢量是此时的转动之后的z轴,表示平面的姿势的转动矩阵R_wp如方程(4)那样进行表示。xa0[数学式4]xa0 R wp = cos θ 0 sin θ sin θ sin φ cos φ - cos θ sin φ - sin θ cos φ sin φ cos θ cos φ - - - ( 4 ) ]]>然后,如方程(5)那样表示法线矢量。xa0[数学式5]xa0n=[sinθ-cosθsinφcosθcosφ]^txa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(5)xa0然后,当带符号的距离表示为r时,假定作为方向矢量的法线矢量n是穿过世界坐标系的原点的直线和平面之间的交点,以下面的方程中表示平面坐标系的原点T_wp。xa0[数学式6]xa0T_wp=rnxa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(6)xa0现在,假定某一点r在三维模型的坐标系中的位置为r_o=[x_o,y_o,z_o]^T,并且该点在平面坐标系中的位置为r_p=[x_p,y_p,z_p]^T。按照如下通过围绕平面的法线矢量的转动α和平移运动来表示r_o和r_p之间的关系。xa0[数学式7]xa0 r p = x p y p z p = cos α - sin α 0 sin α cos α 0 0 0 1 x o y o z 0 + t po x t po y 0 - - - ( 7 ) ]]>同样,如果点r在世界坐标系中的位置为r_w=[x_w,y_w,z_w]^T,则可以使用R_WP和T_WP按照如下来表示r_p和r_w之间的关系。xa0[数学式8]xa0 r w = R wp x p 0 + T wp - - - ( 8 ) ]]>接着,假定点r在照相机坐标系中的位置为rc=[x_c,y_c,z_c]^T,则按照如下给出从r_w到r_c的变换。xa0[数学式9]xa0 r c = x c y c z c = R cw x w y w z w + τ cw - - - ( 9 ) ]]>因此,按照如下给出图像坐标系中的点r的位置u:xa0[数学式10]xa0 u = u v = - x c z c - y c z c - - - ( 10 ) ]]>使用方程(7)、(8)、(9)和(10)按照如下计算图像雅克比矩阵。按照如下给出平面上(围绕法线)的转动α。xa0[数学式11]xa0 ∂ u ∂ α = ∂ u ∂ α ∂ v ∂ α = ∂ u ∂ x c · ∂ x c ∂ x w · ∂ x w ∂ x p · ∂ x p ∂ α - - - ( 11 ) ]]>按照如下给出平面上的平移运动t_po。xa0[数学式12]xa0 ∂ u ∂ t po x = ∂ u ∂ t p x ∂ v ∂ t p x = ∂ u ∂ x c · ∂ x c ∂ x w · ∂ x w ∂ x p · ∂ x p ∂ t po x ]]> ∂ u ∂ t po y = ∂ u ∂ t p y ∂ v ∂ t p y = ∂ u ∂ x c · ∂ x c ∂ x w · ∂ x w ∂ x p · ∂ x p ∂ t po y - - - ( 12 ) ]]>在图5的情况下,由于仅需要考虑平面上的一个轴的平移运动,因而仅使用xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="238"/>这一情况即是被约束成三维空间上的xa0直线的三维模型拟合。xa0接着,将给出使用所求出的图像雅克比矩阵对图像的最优化算法。在本典型实施例中,进行基于边缘的三维模型拟合。xa0如图7所示,在基于边缘的三维模型拟合中,在等间隔分割模型的各边缘的每一分割点处进行处理。通过将三维模型投射至图像平面,在图像平面上进行处理。在各分割点52,在与三维模型的各投影线51垂直且穿过该分割点的线段(以下称为搜索线53)上搜索测量对象的边缘。当对于所有分割点都完成了该处理时,计算三维模型的位置和姿势。在该处理中,假定可以建立分割点之间的对应关系的相应点的总数为NC。通过基于重复计算进行校正来计算三维模型的位置和姿势。xa0接着,以下将说明用于通过利用与线段(边缘)有关的信息来计算三维模型的位置和姿势的方法。图8示出用于通过利用与线段有关的信息来计算三维模型的位置和姿势的方法。xa0在图8中,将图像的水平方向取为u轴,并且将垂直方向取为v轴。将某一分割点52的坐标表示为(u_k,v_k),并且以相对于u轴的斜率θ来表示分割点所属的线段51在图像上的倾斜度。另外,假定线段51的法线矢量为(sinθ,-cosθ)。此外,假定相对于分割点52的存在于测量对象的边缘上的相应点60的坐标为(u′_k,v′_k)。xa0现在,计算从分割点52到相应点60的距离。线段51上的点(u,v)满足方程(13)。xa0usinθ-vcosθ=rxa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(13)xa0其中,r=u_ksinθ-v_kcosθ(常数)xa0xa0xa0xa0xa0xa0(14)xa0穿过相应点60且与线段51平行的直线上的点(u,v)满足方程(15)。xa0usinθ-vcosθ=dxa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(15)xa0其中,d=u′_ksinθ-v′_kcosθ(常数)xa0xa0xa0xa0xa0xa0(16)xa0因此,将从分割点52到相应点60的距离计算为d-r。相应点60在图像坐标系中的坐标值是三维模型的位置/姿势的函数。三维模型的位置/姿势的自由度是六个自由度。在这种情况下,将用于表示三维模型的位置和姿势的参数表示为“p”。“p”是由表示三维模型的位置的三个因数和表示三维模型的姿势的三个因数所构成的六维矢量。表示姿势的三个因数例如通过利用欧拉角的表示或者通过方向表示转动轴且大小表示转动角度的三维矢量来表示。xa0在图5的情况下,尽管仅需要通过在平面约束下仅沿着平面坐标系的X轴方向移动三维模型来进行拟合,但是这里将说明六个自由度的情况下的使用边缘的三维拟合。当在(u_k,v_k)附近通过一阶泰勒展开来近似(u,v)时,假定(u,v)是分割点52在图像坐标系中的坐标,以下通过方程(17)来表示(u,v)。xa0[数学式13]xa0 u ≈ u k + Σ i = 1 6 ∂ u ∂ p i Δp i , ]]> v ≈ v k + Σ i = 1 6 ∂ v ∂ p i Δp i - - - ( 17 ) ]]>在方程(17)中,偏微分系数xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="423"/>是图像雅克比矩阵。xa0计算三维模型的位置/姿势参数“p”的校正值Δp,以使得以方程(17)所表示的(u,v)存在于以方程(15)所表示的直线上。将方程(17)代入方程(15)得到方程(18)。xa0[数学式14]xa0 ( u k + Σ i = 1 6 ∂ u ∂ p i Δp i ) sin θ - ( v k + Σ i = 1 6 ∂ v ∂ p i Δp i ) cos θ = d - - - ( 18 ) ]]>如果重新整理方程(18),则可以表示为方程(19)。xa0[数学式15]xa0 sin θ Σ i = 1 6 ∂ u ∂ p i Δp i - cos θ Σ i = 1 6 ∂ v ∂ p i Δp i = d - r - - - ( 19 ) ]]>由于方程(19)对于NC个分割点成立,因而如方程(20)所示的相对于Δp的线性联立方程成立。xa0[数学式16]xa0ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>此时,将方程(20)简单表示为方程(21)。xa0JΔp=Exa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(21)xa0根据方程(21),使用矩阵J的广义逆矩阵(J^T/J)^-1来确定JΔp。然而,在本典型实施例中,由于可以将自身分解成一个自由度的问题,因而对于p₁=t^x_po,仅需要计算Δp₁。进行重复计算,直到Δp₁最终变得等于或小于阈值为止。xa0本发明第二典型实施例的基本结构与第一典型实施例的基本结构相同。如图9所示,与第一典型实施例的不同点在于:使用多狭缝激光投射器作为狭缝激光投射器10。狭缝激光投射器10是能够一次发射多个狭缝光束(多狭缝照明光)的激光投射器,并且可以从拍摄图像提取多个光切线。可以从拍摄图像的帧提取多个光切线,从而可以减少要获取的拍摄图像的数量,因此可以进一步缩短处理时间。xa0下面将说明本典型实施例的校准方法。可以通过利用多狭缝光照射世界坐标系中的坐标值预先已知的夹具、在图像上测量其照射位置、并且使用投影矩阵α计算三维位置,来分别确xa0定多狭缝光平面的方程。如果假定多狭缝光的狭缝的数量为K,并且从光扫描部11的原点位置开始的第k个狭缝光照射角度为Φk,则以与第一典型实施例相同的方式来表示多狭缝光平面的方程。xa0与第一典型实施例相同,根据图3的流程进行实际处理。然而,在三维测量步骤S120中,由于多狭缝光,因而可以利用一次测量获得估计照射平面所需的三维信息。此外,需要辨别利用哪一个狭缝光在测量对象上描绘各个光切线。在图像上获得各个光切线。例如,存在如下方法:通过在某一提取的光切线的垂直方向上进行一次扫描、提取全部K个狭缝光束、并且顺次标记它们,进行上述辨别。xa0本发明第三典型实施例的设备结构与第一典型实施例的设备结构相同。第三典型实施例与第一典型实施例的不同在于:如果判断为第一方向上的第一图案光的信息不足以使得能够通过参数空间限定步骤对参数进行充分约束,则改变光投射单元A100的光投射(第二图案光)。然后,再次进行参数空间限定步骤。通过重复上述步骤直到可以执行充分的参数约束为止,可以更高精度地确定测量对象30的位置和姿势。xa0根据图10的流程进行本典型实施例的实际作业。图像数据获取步骤S210~参数空间限定步骤S240进行与第一典型实施例中的图像数据获取步骤S110~参数空间限定步骤S140相同的处理。xa0在步骤S245,判断第一拍摄图像的测量结果是否使得能够在执行三维模型拟合时执行充分的参数空间约束。例如,在如图11所示获得了两个光切线101的情况下,尽管估计出照射表面102(第一表面形状),但是没能限定三维模型的位置的范围。如果未能执行充分的参数空间约束(步骤S245为“否”),则处理返xa0回到图像数据获取步骤S210,然后通过将光投射单元A100移动至与当前位置不同的位置并且从移动后的位置(第二方向)发射狭缝光来获取第二拍摄图像。然后,使用第二拍摄图像来获取另外的照射表面(第二表面形状)。xa0首先,根据测量对象面估计步骤S230中所获得的平面,计算通过光扫描部11将光投射单元10的照射角度改变成任意预定角度的情况下的光切线。通过确定各照射角度的狭缝光平面和测量对象面估计步骤S230中所获得的照射表面102之间的交线,来预先进行该计算。下面将该光切线称为虚拟光切线103。接着,通过将照射角度改变成预定角度来进行照射,然后获得光切线104。xa0在图像坐标上进行虚拟光切线103和实际所获得的光切线104之间的匹配处理并且存在无法建立匹配的部分的情况下,由于因光投射超出测量对象的轮廓而导致光切线被分割的可能性高,因此进行参数空间限定。具体地,与第一典型实施例相同,使与三维模型上的照射部分相对应的表面与照射表面相匹配,并且通过利用平面约束改变三维模型的位置和姿势,来计算照射平面的轮廓线(光切线)上的点存在于与三维模型相匹配的平面内的范围。如果所有的虚拟光切线103和实际获得的光切线104之间的匹配都成立,则作为以所有的照射角度进行照射的结果,通过利用平面方向上的平移运动和围绕平面的法线矢量的转动运动求出图像雅克比矩阵,来进行三维模型拟合。以方程(11)和方程(12)求出各图像雅克比矩阵。此后,在对象位置/姿势计算步骤S250中,计算测量对象的位置/姿势。xa0图12示出本发明第四典型实施例的基本结构。xa0光投射单元A100包括利用图案光照射测量对象的光投射单元A110和改变光投射单元A100的位置/姿势的作业单元xa0A120。摄像单元A200用于获取图像数据,并且与光投射单元A100相互独立或相结合地进行安装。xa0计算单元A300进行各种计算,并且包括校准值计算单元A310、三维测量值计算单元A320、参数空间限定单元A330、对象位置/姿势计算单元A340、以及测量控制单元350。另外,计算单元A300包括控制单元A360、光投射器位置/姿势确定单元A370、图像数据存储单元A301、校准值存储单元A302和三维模型数据存储单元A303。xa0根据图13的流程进行实际处理。在照射位置/姿势设置步骤S310中,确定可通过作为移动控制单元的控制单元A360进行移动的光投射单元A100的位置/姿势。根据在向着测量对象30进行照射之前通过摄像单元A200所获取的图像,在光投射器位置/照射确定单元A370中设置光投射单元A100的位置/姿势。图像数据获取步骤S320~对象位置/姿势计算步骤S360进行与第一典型实施例的图像数据获取步骤S110~对象位置/姿势计算步骤S150相同的处理。xa0图14示出本典型实施例的具体结构。与示出第一典型实施例的具体结构的图1大致相同,以可通过作为光投射器移动单元的作业单元A120进行改变的方式来设置光投射单元A110的位置/姿势。xa0接着将具体说明用于根据上述结构进行照射位置/姿势设置步骤S310的流程的方法。将根据图15中的流程具体说明处理内容。xa0在三维校准步骤S410中,在光投射单元A100的位置/姿势的预先定义的候选位置处进行三维校准。在各位置要进行的三维校准与第一典型实施例中的三维校准相同。使用该三维校准结果,生成来自任意位置/姿势的照射的情况下的光切面的平面xa0方程估计函数。如果光投射单元A100的位置设为X,姿势设为“a”,表示光切面的平面方程AX+BY+CZ+D=0的系数矢量设为A=[A,B,C,D]^T,则平面方程估计函数为f(X,a)=A。可以利用最小二乘法,通过分析基于多项式回归的线性函数模型,来获得平面方程估计函数“f”的近似解。在图像数据获取步骤S420中,通过照相机20获取图像数据。xa0在图像分辨率降低步骤S430中,计算单元A300用作分辨率降低单元,并且计算单元A300将在图像数据获取步骤S420中所获取的图像变换成图像分辨率降低的图像。xa0在三维模型拟合步骤S440中,在图像分辨率降低步骤S430中所获取的测量对象的分辨率降低图像和通过简化存储在三维模型数据存储单元A303中的模型数据所获得的模型之间进行拟合处理。然后,粗略估计测量对象30的位置和姿势。拟合处理所使用的特征可以是边缘或者诸如边角和其它所谓的关键点等的特征点。xa0作为具体方法,将说明随机抽样一致(Randomxa0Samplexa0Consensus,RANSAC)方法。通过从测量对象的分辨率降低图像中随机选择多个关键点,来估计与关键点相对应的三维模型的位置/姿势。当根据估计出的位置/姿势将三维模型投射至图像坐标时,如果测量对象30的非选择关键点和最接近的三维模型的关键点之间的距离的总和等于或小于阈值,则得到正解值。可选地,可以计算测量对象30的边缘和最接近的三维模型的投影线之间的距离的总和。如果超过阈值,则返回到开始,随机选择测量对象的关键点。xa0在照射位置/姿势设置步骤S450中,使用三维模型拟合步骤S440中粗略估计出的测量对象30的位置/姿势来设置光投射单元A100的位置/姿势,以使得能够有效地照射测量对象30。xa0具体地,将光投射单元A100配置在可以照射三维模型拟合步骤S440中粗略估计出的测量对象30的位置/姿势的位置/姿势处,并进行光投射。具体地,根据粗略估计出的测量对象的位置/姿势、拍摄图像的照相机的位置/姿势以及三维测量时的所需精度,来确定光投射单元A100的角度。根据光投射器的焦距来确定光投射单元A100的位置。使用控制单元A360和作业单元A120将光投射单元A100移动至该位置/姿势,并且光投射单元A100照射测量对象。通过检测投射至测量对象上的光切线来测量三维位置。基于该三维测量结果来校正光投射单元A100的位置/姿势。在该处理中,通过作业单元A120来控制用于吸收三维模型拟合步骤S440中的测量对象的位置/姿势的估计误差并且对测量对象进行三维测量的光投射单元A100的位置/姿势。xa0图像数据获取步骤S320~对象位置/姿势计算步骤S360进行与第一典型实施例中的图像数据获取步骤S110~对象位置/姿势计算步骤S150相同的处理。xa0与第四典型实施例相同,在图12中示出本发明的第五典型实施例的基本结构。具体结构如图16所示。图17示出实际处理流程。xa0尽管基本与第四典型实施例相同,但是在测量对象进行了移动的情况下,在照射位置/姿势设置步骤S510中再次控制光投射单元A100的位置/姿势。通过帧差或光流估计来进行测量对象的移动检测。如果检测到测量对象的移动,则再次与第四典型实施例同样地,可以根据图15的流程来确定光投射单元A100的照射位置/姿势,或者可以进行诸如光流估计等的二维速度估计。此外,在测量对象被机器人手臂抓住或者被置于带式输送器等上的情况下,假定测量对象的移动量已知,可以移动光投射单元A100。图像数据获取步骤S520~对象位置/姿势计算步xa0骤S560进行与第一典型实施例的图像数据获取步骤S110~对象位置/姿势计算步骤S150的处理相同的处理。在进行了预定次数的测量和位置/姿势计算之后,终止该流程。xa0与第一典型实施例相同,在图1中示出本发明第六典型实施例的基本结构,并且与第一典型实施例相同,同样在图2中示出具体结构。另外,与第一典型实施例相同,实际处理被配置为根据图3中的流程进行作业。由于三维模型是如图18那样的圆柱体,因而将该三维模型约束为圆柱体的侧面。在图18的情况下,由于利用测量对象面估计步骤S130中所获得的曲面而使三维模型受到曲面约束,因而如下面所述求出曲面约束下的图像雅克比矩阵。在本典型实施例中,三维模型仅可以在圆柱体的轴向上移动,因而仅求出轴向上的图像雅克比矩阵。xa0假定表示所估计的曲面坐标系中的某一点“x”的坐标值为x_cy1=[x_cy1,y_cy1,z_cy1],并且如果向着轴向的平移运动设为“d”,则按照如下给出所求出的图像雅克比矩阵。xa0[数学式17]xa0 ∂ u ∂ d = ∂ u ∂ d ∂ v ∂ d = ∂ u ∂ x c · ∂ x c ∂ x w · ∂ x w ∂ x cyl · ∂ x cyl ∂ d - - - ( 22 ) ]]>与第一典型实施例相同,可以通过基于边缘的拟合来进行三维模型拟合处理。xa0图19示出本发明第七典型实施例的功能结构。第一典型实施例和本典型实施例之间的不同点在于:在该功能结构中不包括光投射单元A100、校准值计算单元A310和校准值存储单元A302,但是摄像单元A200对应于立体照相机20。xa0此外,在本典型实施例中,在三维测量步骤S120和测量对象面估计步骤S130中,使用立体拍摄图像和立体照相机20的视xa0差来计算表示测量对象的表面形状的信息。通过进行上述配置和处理,使该设备结构不必包括光投射单元10,并且可以利用简单结构来构成该设备。xa0图20示出本典型实施例的具体结构。固定配置与摄像单元A200相对应的立体照相机20。假定立体照相机20所获得的图像是利用众所周知的校准技术消除了镜头像差的图像。与计算单元A300相对应的计算机40具有作为程序的三维测量值计算单元A320、参数空间限定单元A330和对象位置/姿势计算单元A340。此外,装配了可以控制照相机20的测量控制单元A350(与照相机20相对应的接口)。此外,装配了可用作图像数据存储单元A301的存储器,并且可以使用该存储器作为三维模型数据存储单元A303。该存储器包括设置在外部或设置在内部的非易失性存储装置。计算机40与照相机20连接。xa0与第一典型实施例相同,根据图3的流程进行实际处理。然而,在三维测量步骤S120中,测量图像数据存储单元A301所获取的图像的视差,并且根据照相机之间的预先定义的距离和各照相机镜头的焦距来获得三维测量结果。此外,在测量对象面估计步骤S130中,在将如图21那样在照相机之间建立对应关系的边缘等所包围的区域80取为表面的情况下,通过使用三维测量步骤S120中所获得的三维测量结果来计算平面方程或曲面方程。在图21的情况下,估计测量对象平面102。此时,测量对象平面102可能不适用于由边缘等所包围的区域,而是仅适用于利用区域分割等所获得的部分区域。基于所获得的表面信息来限定参数空间。参数空间限定步骤S140和对象位置/姿势计算步骤S150进行与第一典型实施例的处理相同的处理。xa0尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围xa0符合最宽的解释,以包含所有修改、等同结构和功能。xa0本申请要求2009年6月25日提交的日本专利申请2009-151479的优先权,其全部内容通过引用包含于此。xa0